Powell dilahirkan di Bandaraya New York dan dibesarkan di Bronx Selatan. Orang tuanya, Luther Theophilus dan Maud Ariel Powell, berhijrah ke Amerika Syarikat dari Jamaica. Powell belajar di sekolah negeri Bandaraya New York, lulus dari City College of New York (CCNY), di mana dia mendapatkan ijazah sarjana muda dalam bidang geologi.

Dia juga menyertai ROTC di CCNY dan memperoleh pangkat Leftenan Muda Angkatan Tentera Darat AS setelah lulus pada Jun 1958. Pencapaian akademinya yang lain termasuk ijazah MBA dari Universiti George Washington.

Powell bernikah dengan Alma Vivian Johnson Powell yang berasal dari Birmingham, Alabama. Dia mempunyai seorang anak lelaki, Michael (yang pernah menjadi ketua Suruhanjaya Komunikasi Persekutuan); anak-anak perempuannya Linda dan Anne; menantu Jane; dan cucu-cucunya Jeffrey dan Bryan.

Panggilan akrab Presiden George W. Bush untuk Powell adalah Pup Pup.

Powell terkenal sebagai orang yang mendorong terjadinya serangan Amerika Syarikat ke Iraq pada tahun 2003 setelah menunjukkan "bukti" adanya senjata pemusnah besar-besaran di Iraq dalam sebuah Persidangan Agung PBB yang ternyata sama sekali tidak ada.